半导体IP公司Imagination：3D场景拟真需求升级趋势下，移动端如何实现桌面级的光线追踪体验|「游戏技术应用与产业进化」
今年TGDC Final-技术专场上，来自Imagination图形技术美工专家Alekos Caporali进行了题为《移动游戏中如何实现光线追踪》的分享。
这项技术基于Imagination的PowerVR Photon光线追踪架构，能够在智能手机等低功耗嵌入式设备中实现高性能、桌面级质量的光线追踪效果。根据演示，这套光线追踪技术在阴影、反射、全局光照等方面都能实现良好的视觉优化效果。
Imagination Technologies是一家成立于1985年的芯片设计公司，为嵌入式GPU、CPU、AI和连接打造一站式解决方案。旗下GPU技术可扩展至所有市场的图形和GPU计算；并拥有高性能RISC-V CPU系列和专用人工智能硬件产品。基于 Imagination IP 的产品被广泛用于手机、汽车、住宅和工作场所。其总部位于英国，2017年被凯桥资本全资收购。
随着移动端游戏等应用对视效要求越来越向桌面端看齐，相关技术的迭代也成为业内关注的方向。日前，围绕移动端光线追踪解决方案和应用价值，东西游戏与Imagination Technologies进行了访谈。
Imagination CMO David Harold表示，Photon架构的光线追踪解决方案依托于“光线加速集群”（RAC）这一新的GPU模块，在硬件层面提高了光线追踪的性能和效率，能够为移动游戏玩家和开发者提供桌面级的光线追踪体验。
David Harold告诉东西游戏，“相较于运用传统的光栅化，开发人员在工作场景中可以利用硬件实时光线追踪模块的卓越性能和功耗，更加高效地完成任务。这对移动设备来说是两全其美的事情。”
据了解，除了应用在智能手机上，这套移动端光线追踪解决方案还可扩展至VR等设备上。在David Harold看来，光线追踪是下一代产品好的选择。Imagination最近已经与一些VR头显设备的合作伙伴进行了密切合作。
光线追踪技术的发展与应用：
极大提升3D场景的拟真度
据介绍，ImaginationPowerVR GPU有30年的历史，首创了TBDR、基于优先级的渲染、虚拟化和光线追踪等图形技术，为移动端，台式机，汽车和许多其他应用市场提供IP核。目前总共有3000项专利和申请，是拥有基本GPU专利的少数公司之一，核心专利包括tiling、内存/参数管理、延迟渲染和压缩。
从2007年起，公司就开始研究硬件光线追踪技术。并首创了光线追踪0-5级的分级系统，根据Imagination在TGDC上的演示，其光线追踪已达到第4级，可以实现更加柔和阴影、根据不同材质呈现逼真的反射效果，以及实时全局光照的功能。
在计算机图形学领域，传统渲染方式是在光栅化（rasterization）基础上配合光照贴图（lightmap）等技术，本质上还是通过各种贴图方式来模拟光影效果，可以使游戏画面达到较高质量的视觉效果，但同时也由于贴图难以模拟漫反射、实时光影效果等，在进一步提升拟真度上存在瓶颈，此类属于第一级光追。
硬件实时光线追踪技术则有望突破游戏画质提升的瓶颈。通过对游戏内光线的模拟，实现场景中物体表面反射、柔和阴影、环境光遮蔽、全局光照等效果，光线追踪能够实时生成光影效果，使游戏画质的拟真度得到实质性的提升。
作为一项提供拟真视觉效果、同时又有着较高性能需求的技术，光线追踪现阶段主要被原生画质已经达到较高水准的大型游戏采用，作为进一步提升游戏体验的一种尝试。以3A游戏为主，也包含部分独立游戏。
如《赛博朋克2077》《堡垒之夜》《战地5》《使命召唤：黑色行动》《使命召唤：现代战争》《孤岛惊魂6》《暗影火炬城》等。此外，本土游戏《逆水寒》《剑网3RTX网络版》《天涯明月刀》等也支持光线追踪。
此外，基于提升3D场景拟真度的能力，除了游戏领域，光线追踪相关技术目前也已应用或将扩展到如汽车人机界面、零售、Metaverse/VR/AR、医学成像、音频/流体建模等领域。
移动端光线追踪的技术方向
不过整体来看，目前由于硬件性能等方面的限制，业界大多使用的是光栅化+光线追踪的混合渲染管线，光线追踪还不能完全替代光栅化，尚有很大的硬件和技术提升空间。应用的前瞻性和市场相对初期，也让光线追踪成为现阶段很多厂商投入研究的方向。
由于计算的复杂性，光线追踪此前主要在端游、主机游戏等桌面端应用，NVIDIA、AMD等传统GPU大厂针对专业开发者和消费级市场都已有所布局。
而随着手机游戏玩家对游戏品质和视觉表现要求的提升，下一代手游在画质表现上也将倾向与端游看齐，对光线追踪等图形技术的移动端应用提出更高的要求。
现阶段，硬件和技术厂商正在从不同角度切入移动端光线追踪领域。如在设备端，华为、联发科都在去年展示了各自的移动光线追踪解决方案；三星在今年1月发布了据称是“首个在移动设备上支持硬件加速光线追踪的旗舰处理器”的Exynos 2200；OPPO则在今年3月推出光追3D动态可交互壁纸，称之为“首次在手机端实现光线追踪解决方案”。
Imagination表示，上述厂商所提供的解决方案，绝大部分是基于GPU shader的纯软件实现，仅三星的Exynos 2200（基于AMD RDNA2 mobile）包含了较为初级的光追硬件，相较于Imagination的光追硬件实现，在性能和能效上均存在差距。
此次TDGC上Imagination展示的解决方案属于4级，以BVH处理和相干性排序为技术亮点。接下来Imagination计划向第5级发展，在硬件中使用场景层次生成器进行相干 BVH 处理。
由于移动设备往往受限于面积和功耗预算，因此移动端光线追踪解决方案的重点在于降低功耗，提高效率。
针对此需求，Imagination提出了基于相干性排序（coherency sorting）提高效率的方案：一个表面上反弹角度一致的光线会被排在一起，即相干性排序，这种技术以智能方式优化整个光线分选过程，从而减少硬件运行压力，更适合移动端。
David Harold告诉东西游戏，相比于其他光线追踪解决方案在软件中完成这一关键步骤，Photon架构在硬件上完成光线追踪和排序，因而会更快、更高效。
也因此，除了移动游戏，Imagination 技术应用也拓展到汽车、移动及数字电视等芯片面积小、功耗低的领域。例如Imagination已成为汽车行业最大的GPU供应商。
东西游戏
与Imagination的QA节选
Q Imagination的移动端光线追踪解决方案的技术路线是什么？
Imagination：目前我们推出的IMG CXT GPU引入了PowerVR Photon架构，为桌面、数据中心和移动设备带来了高性能、桌面级质量的光线追踪视觉效果。由CXT驱动的设备可提供高达1.3GRay/s的性能，为用户带来光线追踪阴影、反射、全局照明和环境遮挡等功能，并实现高帧率。
Imagination的Photon光线追踪架构是数十年发展的结果，使光线追踪在智能手机等低功耗嵌入式设备中不仅可行，而且快速。由于光线追踪的性能和效率水平各不相同，我们建立了光线追踪等级系统（RTLS），范围从0级到5级。
Q 在移动端实现光线追踪，和在其他设备上实现光线追踪相比，有哪些难点？Imagination是如何去解决这些难点的？
Imagination：移动设备总是会受限于面积和功耗预算，所以我们需要一个具有高效架构的解决方案，以降低功耗。Photon实现了光线追踪硬件加速，与目前市场上的任何其他硬件光线追踪加速相比，它是独一无二的，因为它的硬件光线追踪和排序，对软件来说是透明的，确保硬件上并行追踪的发射光线具有潜在的相似性，我们把这称为相干性聚集。业界的其他光线追踪解决方案在软件中完成这一关键步骤，这不可避免地会更慢、更低效。
另一个要求是可扩展性，所以我们有一个非常高效的单例RT核，而且可以线性地扩展。IMG CXT-48-1536 RT3 内核具有三个 Ray Acceleration Cluster （RAC） 实例，性能高达 1.3GRay/s 。
Q 针对移动端光线追踪解决方案，Imagination的差异性体现在哪里？
Imagination：我们之所以是硬件光线追踪技术的首选，是因为我们已经花了很长一段时间来努力解决这个问题了。相比之下，其他行业竞争对手还停留在初步级阶段。而现在光线追踪已经成为当今使用的主要图形API之一的重要方面。
我们的相干性聚集与如今对于光线追踪过程的认知相符，如果光线启动生成新的光线，堆栈就会被解开，这又可能启动生成新的光线，等等如此往复。我们在每个调度步骤收集光线的相干性，确保我们尽可能地接近硬件可能光线流以便高效处理。
在现代硬件光线追踪器中，最需要测量的也是这种光线流，此种光线流的工作效率是非常重要的指标。峰值并行三角形测试或者光线发射和miss指标，是描述射线追踪硬件性能的简单方式，但它们并不十分有用。毕竟，开发者想要的并不只是关心一个高峰值并行测试峰值或者一个高miss-only的指标。
我们的目标是在整个加速系统中实现可用的full-fat ray flow，这样开发者就可以利用光线预算做一些有用的事情。我们的相干性聚集系统使我们能够提供这样的服务，让其与目前市场上的任何其他系统相比都是独一无二的，而这些其他的系统都缺乏足够的功能或架构效率，或两者都缺乏。
目前，Ray tracing在游戏机和PC上还是比较新的。对于移动开发者来说，总是需要一些时间来跟进，而移动硬件的生产也需要时间。Imagination已经在Ray Tracing解决方案上深耕了十多年，并且在最近的几年里我们才开始授权。